Fraser sinh ở Indianapolis, Indiana[1], là con trai của một gia đình người Canada, mẹ là Carol, một nhân viên tư vấn bán hàng, và cha là Peter Fraser, cựu phóng viên người đã làm việc với tư cách là một Canadian foreign service officer cho Cơ quan Du lịch của Chính phủ[2][4][5], Fraser có ba người anh: Kevin, Regan và Sean. Gia đình Brendan đã chuyển qua nhiều nơi khi anh còn nhỏ, như là Eureka, California, Seattle, Ottawa, Hà Lan và Thụy Sĩ. Fraser đã từng ở khu nội trú dành cho nam sinh[6] của trường Upper Canada College, Toronto. Trong kỳ nghỉ hè ở London, Fraser đã tham gia vai diễn kịch chuyên nghiệp đầu tiên của mình ở Nhà hát West End. Sau khi tốt nghiệp Cornish College of the Arts của Seattle năm 1990[4][7] Brendan bắt đầu diễn trong các vở kịch nhỏ ở New York. Brendan dự tính sẽ khởi nghiệp ở Texas nhưng đã dừng lại ở Hollywood khi đang hành trình về phía Nam và quyết định ở lại Los Angeles và tham gia đóng phim.

Họ của Brendan chính xác là "Fray-zer," mặc dù đôi khi được phát âm là "Frasier" (như trong nhân vật truyền hình của Kelsey Grammer). Cách phát âm chính xác họ của Brendan là trong một chương trình hài hước có tên Dickie Roberts: Former Child Star, mà trong đó họ của nhân vật được phát âm như là "Freh-rah-szzure". Tổ tiên của Brendan mang rất nhiều dòng máu khác nhau như Ailen, Scotland, Đức, Séc, và Pháp - Canada.